home *** CD-ROM | disk | FTP | other *** search
/ Nebula 1 / Nebula One.iso / Utilities / BenchMarks / ByteBenchmark / doc / bench3.doc < prev   
Text File  |  1994-01-27  |  2KB  |  47 lines
  1. The BYTE Unix benchmarks that we published in March, 1990, we
  2. expected that they fill our needs for several years. It was only a
  3. few months before we started to see that UNIX workstation performance
  4. was going to make the benchmark design questionable. The design flaw
  5. was that the benchmarks timed a fixed number of loops; if there were
  6. to few loops, the times were too small to be reliable. Perhaps we
  7. could have increased the number of loops and been safe for another
  8. few years (months?). But with IBM's introduction of the RS/6000, it
  9. became obvious that we needed to redesign our benchmarks.
  10.  
  11. Now the work on version 3 is complete. The new design increases in
  12. precision on faster workstations because we turned everything
  13. upside-down: we count loops for a fixed amount of time. There are
  14. some additional benefits, the amount of time for running the suite is
  15. relative predictable (about an hour). 
  16.  
  17. Since new benchmarks mean new baselines and indexes, we reevaluated
  18. these elements as well. Though the Everex Step 386/33 is still a very
  19. contemporary machine, the operating system that we were using for the
  20. baseline (SCO Xenix 386 version 2.3.1). We were tempted to use the
  21. new HP 9000 Series 700 as the baseline, but so few machines are in
  22. that league that the index would be very strange. Instead, we have
  23. taken the conservative approach: a popular machine.  The new baseline
  24. machine is the Sun Microsystems [TOM, please fill in configuration],
  25. the baseline for this month's roundup of SPARC clones.
  26.  
  27. We also changed which benchmark tests are used to generate the new
  28. index: 
  29.  * a double precision arithmetic performance test
  30.  * Dhrystone 2 without register variables 
  31.  * Spawning a process (!M!execl()!EM!)
  32.  * File copy throughput in five seconds
  33.  * Pipe-based context switching
  34.  * The shell script with 8 concurrent scripts running
  35.  
  36. Instead of just summing the indexes of each of these tests to get the
  37. overall index, we are using the average. This means that the baseline
  38. value is 1 instead of six.
  39.  
  40. As always, the BYTE Unix benchmarks are freely available from BIX and
  41. on the Usenet. Version 3 automatically configures to System V and BSD
  42. Unix systems. It also includes scripts for generating the indexes.
  43. Thanks to the many users who sent use reports and suggestions for
  44. Version 2, BYTE and you have a much better set of tools for
  45. benchmarking UNIX systems.
  46.  
  47.